LT会 第3回
Summary
TLDRこのスクリプトは、最先端の機械学習モデル「空」の紹介と、その能力や特徴、学習方法、生成した動画の例などを詳しく説明しています。空は従来の動画生成AIを凌駕し、高品質で長時間の動画を生成することができ、複数のキャラクターやシーンの再現にも優れていることが示されています。大規模モデルによってシミュレーション能力が向上し、3次元の整合性や物体の相互作用などの表現が可能になったことが強調されています。また、今後の課題や安全性への取り組みについても触れられています。
Takeaways
- 🤖 ドリーマーV2は、従来のモデルフリー強化学習と比較して、当たりのタスクにおいて高いスコアを出す能力があることが特徴。
- 🧠 ドリーマーV2は内部モデルを確率的に変化する状態と決定論的な状態を組み合わせることで、より柔軟に状況を予測できるようになった。
- 🎥 オープンAIから公開された動画生成AIシステム「Imagen」は、1分程度の長い動画を高品質で生成できる。
- 📝 Imagenはテキストだけでなく、画像や動画をプロンプトに入力することも可能。
- 🌉 Imagenは3次元の整合性やオブジェクトの相互作用、デジタル世界のシミュレーションなどの能力が発現した。
- ⚠️ Imagenは一部の物理現象の正確な再現や、オブジェクトの突発的な出現など、まだ課題があることも確認された。
- 🔮 オープンAIは今後もモデルをスケーリングすることで、これらの課題を解決していく方針。
- 🔒 オープンAIは生成された動画を判別する分類器の開発や、不適切なコンテンツを排除するための対策を講じている。
- ✨ Imagenが生成する高品質な動画は、映像制作の幅を大きく広げる可能性がある。
- 🌐 Imagenはデジタル世界をシミュレーションする能力を持つため、世界モデルの環境として活用できるかもしれない。
Q & A
1. ドリーマーV2モデルの主な特徴は何ですか?
-ドリーマーV2モデルは従来のモデルフリー強化学習手法よりも高いスコアを出すことができ、当たりのタスクをクリアしやすくなっています。また、内部状態を確率論的に変化させることで、より柔軟な予測が可能となっています。
2. ドリーマーV2モデルの内部状態はどのように表現されていますか?
-内部状態は、決定論的な部分とカテゴリカル分布で表される確率論的な部分の2つから構成されています。カテゴリカル分布を用いることで、次の状態の繊維を予測しやすくなっています。
3. ドリーマーV2モデルはどのような学習方法を採用していますか?
-ドリーマーV2モデルは変分自由エネルギーに基づく学習方法を採用しており、これはVAEで用いられる変分ベイズ法と同じ考え方です。また、確率分布への勾配伝播にはスパイキサンプリングという手法が用いられています。
4. スタイルガンがドリーマーV2モデルで生成された動画について、どのような特徴がありますか?
-スタイリッシュな女性が東京の道を歩いている動画は、プロンプトに忠実に従って生成されています。衣装や動作、背景などの細かい指示が再現されており、反射やサングラスの映り込みなども自然に表現されていました。
5. 動画生成AIである空の主な特徴は何ですか?
-空は最長1分の長い動画を高品質に生成できるほか、複数のキャラクターや特定の動きを含む複雑なシーンも生成可能です。テキストだけでなく画像や動画もプロンプトに使用でき、様々な編集や操作が可能です。
6. 空はどのような手順で動画を生成していますか?
-まず動画を空間的に圧縮し、トランスフォーマーが扱えるようにパッチ化します。次に、ディフュージョントランスフォーマーを用いて圧縮された動画を生成し、最後にデコーダーで元の動画に戻す、という手順を踏んでいます。
7. 空の大規模化によってどのような能力が発現したと考えられていますか?
-大規模化により、3次元の整合性維持、ビデオの一貫性保持、物体との相互作用の再現、デジタル世界のシミュレーション能力などが発現したと考えられています。
8. 空にはどのような限界が指摘されていますか?
-物理現象や物体の出現の正確な再現がまだ課題となっています。例えば、ガラスが割れる際の破片の飛散や、物体が突発的に増えるような現象を適切に表現できていないことが指摘されています。
9. オープンAIは空に関してどのような安全対策を講じていますか?
-生成された動画を識別する分類器の開発、メタデータの埋め込み、不適切なプロンプトを検出する分類器の開発、ポリシーチェックなどの対策を講じています。
10. 発表者の空に対する感想や期待はどのようなものでしたか?
-発表者は自然現象の再現能力に感銘を受けましたが、物理現象の再現には課題があると指摘しています。また、世界モデルの環境として空が利用できる可能性に期待を示しています。
Outlines
🗣️ 世界モデル論文の紹介
この段落では、ドリーマーV2という世界モデルの論文を紹介しています。ドリーマーV2は従来の強化学習手法より優れた成果を上げており、特に当たりのタスクにおいて高いスコアを叩き出すことができます。内部モデルを確率論的に変化するカテゴリカル分布で表現することで、次の状態の遷移を予測しやすくなりました。また、決定論的な部分と確率論的な部分を組み合わせたアーキテクチャを採用しています。
🧠 内部モデルと確率的状態の説明
この段落では、脳内の内部モデルと、ドリーマーV2における確率論的な状態表現について説明しています。内部モデルとは、外部情報を抽象化して脳内に持つモデルのことです。ドリーマーV2では、確率論的に変化する内部状態をカテゴリカル分布で表現しています。これにより、次の状態の遷移を柔軟に表現できるようになりました。RNNの内部状態とエンコーダーで抽出した情報から、確率分布を生成しています。
🔀 内部状態と確率分布の詳細
この段落では、内部状態と確率分布の具体的な関係について詳しく説明しています。内部状態は決定論的な部分と確率論的な部分から成り、RNNの内部情報とエンコーダーから抽出した情報を組み合わせて生成されます。確率分布はカテゴリカル分布を使用しており、次の状態の遷移を予測するために使われます。ロス関数としては、画像の再構成ロス、報酬予測ロス、割引率予測ロス、そしてケルダイバージェンスロスが使われています。
📐 ケルダイバージェンスロスの役割
この段落は、ケルダイバージェンスロスの役割について説明しています。ケルダイバージェンスロスは、内部状態のみから予測された確率分布と、外部情報も利用して予測された確率分布の差を最小化することで、外部情報の影響を調節する役割を果たします。これにより、内部状態のみから状態遷移を予測できるようになり、また外部情報を完全に無視することも防げます。アルファ値を導入することで、この調整を適切に行えるようになっています。
🎯 強化学習の適用と利点
この段落では、学習された内部モデルにアクター・クリティック法を適用し、強化学習を行う方法について説明しています。内部状態のみを使って強化学習を行うことで、マルコフ過程が成り立ち、N-ステップ先までのTDターゲットを拡張できるようになりました。これにより、長期的なシミュレーションが可能になり、従来の環境ベースの手法よりも優れた結果が得られることが期待できます。また、計算コストの削減も利点として挙げられています。
🎥 動画生成AI「Everest」の紹介
この段落では、OpenAIが開発した動画生成AI「Everest」について概要を説明しています。Everestは、テキストプロンプトから高品質な最長1分の動画を生成できます。他のモデルと比べて、より長い動画生成が可能で、キャラクターの動きや背景の詳細な再現もできます。トランスフォーマーベースのアーキテクチャを採用し、様々な画像データで学習されています。計算リソースや学習データについての詳細は不明です。
🔍 Everestの学習方法の概要
この段落では、EverestのおおまかなAI学習方法について説明しています。まず、動画を空間的に圧縮し、パッチ化して単語のようなユニットに変換します。次に、ディフュージョントランスフォーマーを使ってこれらのユニットから動画を生成するよう学習します。学習の際には、ノイズを加えてクリーンな動画を予測するよう学習を行います。また、スケーリングを行うことで、動画生成の品質が向上することが示されています。
🛠️ Everestの学習データと手法
この段落では、Everestの学習データと手法についてさらに詳しく説明しています。従来は解像度や秒数を統一したデータを使っていましたが、Everestでは元の動画サイズのままで学習を行いました。これにより、サンプリングの柔軟性が高まり、様々な解像度や長さの動画生成が可能になりました。また、フレーミングと構図の改善にもつながっています。動画をパッチ化して空間的に圧縮し、ビデオエンコーダーとディフュージョントランスフォーマーで処理することで学習が行われています。
✍️ Everestによる動画生成の例
この段落では、Everestによる実際の動画生成の例が紹介されています。テキストプロンプトから、詳細な説明文を生成し、それをもとにEverestが動画を生成します。プロンプトには、キャラクターの外見や動作、背景の様子などが記述されており、生成された動画はこれらの条件を忠実に再現しています。また、画像や動画をプロンプトに使うこともでき、編集やシームレスな結合なども可能です。一例として、動画とテキストを組み合わせて動画の背景や雰囲気を変更する例が示されています。
💥 Everestのエマージェント能力
この段落では、大規模化によってEverestに発現した能力、いわゆるエマージェント能力について説明しています。3次元の整合性が取れ、物体の大きさや視点の変化が自然に表現されています。また、ビデオの一貫性も維持されており、一時的に画面から離れた物体の位置関係が保たれています。さらに、人間と物体の相互作用も適切に表現されていますが、物理現象の再現には課題もあります。加えて、デジタル世界のシミュレーションも可能になり、Minecraftのような世界を生成できるようになりました。
⚠️ Everestの限界と課題
この段落では、Everestの限界と今後の課題について述べられています。物理現象の再現については、まだ不十分な点があり、ガラスの割れ方やオブジェクトの突発的な出現など、自然な再現ができていない部分があります。今後は継続的なスケーリングによってこうした問題を解決していく方針であり、さらなる大規模化が有望な道であると述べられています。
🔐 Everestの安全対策
この段落では、OpenAIがEverestの安全性を確保するために講じている対策について説明しています。生成された動画を判別する分類器の開発、動画へのメタデータ埋め込み、プロンプトのコンテンツ分類、動画のポリシー適合性チェックなどの取り組みが行われています。時間をかけて安全性を確保しながらシステムを完成させていく方針であり、実際の使用例から学びながら改善を重ねていく計画です。
💭 Everestに対する総括と感想
この段落では、発表者がEverestに対する総括と個人的な感想を述べています。様々なプロンプトを受け付けることで映像制作の幅が広がったこと、自然現象の再現能力の高さなどが評価されています。一方で、物理シミュレーションの活用可能性や、世界モデルにも応用できる可能性などにも期待が示されています。また、OpenAIのサイトやレポートの内容を紹介し、興味のある人にはインタラクティブな操作が可能なので見てみることを勧めています。
Mindmap
Keywords
💡モデルベース強化学習
💡ドリーマーV2
💡動画生成AI
💡拡張可能性
💡プロンプト
💡エマージェント能力
💡セーフガード
💡物理シミュレーション
💡スケーリング
💡世界モデル
Highlights
最近の世界モデルについて発表する。世界モデルの基本的な考え方は、従来のモデルフリー手法に比べてサンプル効率が良いことである。
ドリーマーV2は従来のモデルフリー手法より高いスコアを出し、当たり(ゲームクリアなど)をクリアしやすくなった。
内部モデルを確率論的に変化する状態として表現し、決定論的な状態と組み合わせたレントステートスペースモデル(RSSM)を使用している。
RSSMではカテゴリカル分布を利用して次の状態の遷移を予測しやすくした。
ロス関数としてイメージ再構成誤差、報酬予測誤差、割引率予測誤差、ケルダイバージェンスを用いている。
内部状態のみで次の状態を予測することで、マルコフ過程が成り立ち、従来よりもはるかに長いステップ先までTDターゲットを伸ばせるようになった。
次に発表するのは最近話題の動画生成AI「Cosmic Video」について。従来よりも長時間の高品質な動画生成が可能になった。
動画生成時は、テキストプロンプトをGPTで詳細なキャプションに変換し、そのキャプションをビデオモデルに送信する。
画像やビデオをプロンプトに入れることで、生成した動画を編集したり、2つの動画を結合したりすることが可能。
大規模化により、3次元の整合性、ビデオの一貫性、世界との相互作用、デジタル世界のシミュレーション能力が向上した。
3次元空間の理解力が向上し、視点の変化に従って物体の大きさを自然に変化させられるようになった。
フレームから外れた物体の存在位置を維持できるようになり、長期的・短期的な関係性を1つの動画で表現できるようになった。
人とオブジェクトの相互作用(ハンバーガーを食べる、ガラスが割れるなど)のモデル化にはまだ課題がある。
「Minecraftの世界」といったプロンプトから、デジタル空間のシミュレーション映像を生成できるようになった。
今後はさらにスケールを上げていくことで、これらの課題を解決できる可能性があると考えられている。
Transcripts
00:01あと19時3分になりましたのでまこれ
00:03から第3回アカデミクス会始めていきたい
00:06と思いますで今日今回タイムラインとして
00:08はえ最初の20分間で関しては最近の世界
00:12モデルについ
00:14てに発表していただいてあと後半えあと
00:1720分は最近話題の動画生成Aについて
00:21自分が発させていただきますではえさん表
00:24の準備ができましたらよろしくお願いし
00:28ますあ
00:30はいちょっと共有しますはいありがとう
00:33ござい
00:40ますあ見えてますかはい今画面共有中であ
00:48多分見えてると思いますあ分かりました
00:52はい
00:53えっと
00:55せあのタイトルがあの最近の世モデルに
00:58ついてっていうことででまえっとま結局
01:03ただの論文をま論文1本紹介しようかなと
01:05思ってでこれあのま結構世界モデルの中だ
01:10と有名なドリーマーV2まえっとその前に
01:14ドリーマーっていうえっとま論文があって
01:17それのなんかえっとまなんだろうえと後続
01:20ででえっと何がすいかって言うとま当たり
01:24のえっとスコアでこれまではあのこれです
01:29ドリ
01:30がマV1はま今まで従来あったモデル
01:35フリーの強化学習手法に対してまやっぱり
01:39当たりとかだと当たりのベンチマークだっ
01:42たりするとやっぱり負けちゃうっていう
01:44ことがあったんですけどこのドリーマーv
01:46はなんか結構当たりにあのまあなんだろう
01:49専念するっていうかま当たりをクリアし
01:52やすいようにま結構改良されてそれによっ
01:55てあのモデルベースにも関わらずあの従来
01:59のモデルフリー施行よりも高いスコアを
02:01叩き出したっていうことが結構まなん
02:05だろうこの論文のすごいところででまじゃ
02:08早速内容に入っていこうと思うんですけど
02:11えっとあすいません僕もちゃんと理解し
02:14きれてるかって言われと微妙なんでまあの
02:18なんとなくでいきますえっとまず
02:23まあえっとそうだなどうしようか
02:28な
02:30[音楽]
02:32うんどうやって説明しよう
02:35うんとああまあ普通にまずこの図から説明
02:39していこうと思うんですけどあちょっと
02:40待ってくださいえっともっと分かりやすい
02:44のあった気がするんです
02:48よ
02:50えっと違う
02:58な
03:05うーんこれでいいの
03:18か分かりやすい図が確かあってあそうです
03:21これですねえっとまこれは結構分かり
03:24やすいんですけどえっとままず世界モデ
03:28ルっていうもののえっとま基本的な考え方
03:31としてえっと従来のモデルフィ手法の教科
03:35学習だとえっと何が良くないかって言うと
03:37サンプル効率が非常に悪いっていうのが
03:40あって例えば当たりのゲームってま昔の
03:42ゲセンにあったようななんだろうまあなん
03:44だろう古典的なゲームなんですけどま人間
03:48にやらせてみればまハイスコアを取れるか
03:50どうかは別としてまま23回あればなん
03:54だろううんなんか即負けするみたいなこと
03:57はなくなってまある程度まともに
04:00プレイできるんですよで
04:03もそれを機械学習にやせようとすると
04:06えっと従来のモデルフ手法だとま学習最終
04:10的にできる形としてはもはや人間よりも
04:13高いレベルプレイができるようになるん
04:15ですけどそれまでに何万回っていうあのな
04:19んだろう回数が必要になるんですねでま
04:23時間にま時間その時間はよくわかんない
04:26ですけどでもま何万回も必要っていうのは
04:28まこれなんて言うんだろうサンプル効率が
04:30非常に悪い人間に比べてサンプル効率が
04:32非常に悪いっていうことのまなんだろうま
04:34象徴っていうかでそれを用しようとしたの
04:38が世界手法世界モデルっていうかモデル
04:41ベースのま機械学習ででえっとそれをどう
04:46改良するかっていうと
04:52えっとうんとどうしようか
04:58な
05:03えっとすごい分かりやすい図があっ
05:07て
05:08[音楽]
05:15うんとあこれですえっと人間がえっとま脳
05:20の中に持っているとされる内部モデルって
05:23いうものがあるんですねでこれって何
05:25かって言うとまつまり外部の情報をてそれ
05:30をそのまま使うんじゃなくて脳の中でまな
05:33んだろうえっとあるモデルとして持ってる
05:36でそのモデルはま別になんか画像のような
05:39まなんだろうだから64か64ピクセルと
05:43かそういう情報として持ってるんじゃなく
05:44て中化されたまレテレテStateみたい
05:49な感じで持ってるってされてるんですねま
05:51この図が結構象徴的なんですけどだから
05:54例えば自転車を声でる時もま脳の中では
05:58自転車を声でるイメージをもたれ持って
06:02いるんですけどその中えっと余計なん
06:05だろうそれは抽出された情報で余計な情報
06:07とか入ってないっていうまそういうもの
06:10ですねでまそれが機械あの世界モデル
06:14モデルベース教科学習の基本的な考え方
06:17で
06:19でちょっとごめん
06:24なさいでえっとでそれそれからの進化と
06:29えっとそれの進化の過程でま1つあった
06:32変化がえっとそれまではえっとだからノ
06:36内部モデルの象徴内部モデルを表すものと
06:39してそれまではrnnのなんだろう内部
06:41状態って言うんですかそれを利用しててで
06:45もそれってすごい決定論的な
06:48ものでいや違うなごめんなさいえっと説明
06:54の順番しようかな
06:56えっとワールドモデルっていう論文の中で
06:59案されたものは
07:01えっとあれですねあの確率論的に変化する
07:05だから内部モデルを持っていてその内部
07:08モデルが例えばガウス分布の分散と平均を
07:12出力してそれに基づいてサンプルする
07:15みたいな確率的なえっとなんだろう状態が
07:19確率的に変異していったんですねでも状態
07:22って別に確率的な部分と決定論的な2つの
07:26部分があって例えばえっとある部屋を見
07:28てるとに部屋の中のものは基本的に位置は
07:31変化しないし
07:33えっと例えばで注目したいものは例えばえ
07:37例えば部屋の中に何かがあってそれが動い
07:39てるとしたらそれは確率論的に変異する
07:42みたいなだからその2つの側面があってで
07:45だからそれまでえっとデタだから決定論的
07:48なえっとrnnと
07:52えっと決定論的なものとえっと確率論的な
07:57ものを組み合わせたっていうのがこの
07:59レントステートスペースモデルあの
08:01rssmってやつでこれがまずえっとま
08:05世界もあのこのドリーマvsの中でも使わ
08:07れている
08:08とでどういう仕組みなのかって言うと
08:14まず
08:16えっとままずがえっとどうしようかなうん
08:20まずまrnnの内部内部情報ごめんなさい
08:24何て言うのかちょっと忘れちゃったんです
08:26けど内部情報があってそれと同時に
08:29エンコーダーですねvaeとかで使われる
08:32エンコーダーを使ってXあえっとまこれは
08:36えっとまずモデルを学習する段階ですね
08:40あの内部モデルを学習する段階ではまず
08:43外部から画像が入力されてそれを
08:45エンコーダーでま情報を抽出するとでそれ
08:48がまずあ情報を抽出するでえっと内部
08:52モデルま内部情報として持っているHが
08:55あってこの2つによってまこのZですねZ
08:59は
09:00確率確率的なものです
09:02えっとでこのZを2Zを出力するとでこの
09:07Hだけ単独でもう1つZを出力するとで
09:12このZえっとで先行のドリーマーっていう
09:16研究からこれがどう変化したのかって言う
09:19と先行のドリーマーでは
09:23えっとそう
09:27だうんこれ
09:45えっとあそうですねまこれの図が結構象徴
09:48的なんですけど先行のドリーマーでは
09:51えっとこのようなまえっとガウス分布です
09:54ね単方のガウス分布をままいくつかあの
09:58重ねてあガウス分布がまいくつかある
10:01みたいなそういうなんだろうえっと内部
10:04内部情報そういうそういう形で内部情報と
10:07して持っていたんですねでもこれだとま
10:10この図がすごく分かりやすいんですけど
10:12このその次の状態にいくつも繊維できるん
10:17ですけどあのこのいくつもの状態をガウス
10:21分布だと表現しづらいでえっとその代わり
10:27にあのだから連続的なガス分布ではなく逆
10:30に資産的なこのカテゴリカル
10:33分布に変更することでえっと次の状態の
10:38繊維を予測しやすくなったっていうのがま
10:41これの改善点
10:44ででだからま
10:47えっとそうですねだから過がオリある分布
10:50がいくつもいくつもま32個ですねこれ
10:5332個重なったものをま内部状態として
10:56持つと内部状態まえっとそね確率的な状態
11:01として持つでえっとまこの式でまずえっと
11:06先ほど説明したように
11:08このXとえっと事前に持っていた
11:14Hからまずえっとこの確率確率的な状態を
11:18出力するとでHはまその前のHTとZZ
11:24えっとその前のHとえっとZ
11:29とあとえっと行動ですね与えらえっと実行
11:32された行動によって次の内部状態が決定
11:35するとでもう1つ出力された確率状態が
11:38あってこれはXだからえっと次に出力され
11:42た画像を使わずにH内部情報だけによって
11:45予測するとでこのZとまZZHATのケル
11:51ダイバージェンスを最初化することによっ
11:53てだから外部のXの画像の情報を頼らずと
11:58も次の内部状態を予測することができる
12:02っていうまつまり内部で内部の情報のみで
12:05予測していくっていうのがまこのrssm
12:09の部分ででま
12:11この予測したZTとだから確率的に変異
12:16する状態と決定論的に変変異する状態をま
12:21えっとコンティーえっと結合してこれをま
12:24えっと内部これを状態としてますえでこの
12:27状態を使って
12:30えっとこの状態を使っ
12:33てこれ
12:38は
12:42んせちょっと待ってくださいえっとこれ
12:46は何をくしてるん
12:51だあそうですねえっとだ
12:55からこのえっとこのま内部状態えっとま
13:00正確には確率論的
13:02な状態とえっと決定論的な状態を合わせた
13:06ま状態からまえっと画像をも再構成するま
13:11つまり予測するっていうのとあとは
13:13リワードえっと報酬を予測するそれから
13:15えっとこれはえっとなんだろうかえっと
13:18なんて言うでしたっけあれ
13:20えっと
13:22えっと割引き率ですね割引き割引き率を
13:27予測するとでなんで割引きを予測する
13:30かって言とあのえっとエピソードつまり
13:33えっとエピソードが終わるに近づいて
13:36えっとこの割り引き率が0になるようにま
13:40事前の学習では与えられるんですねだから
13:43えっと割り引き率も予測することによって
13:45ももうすぐこのエピソードが終わって
13:47しまうつまりまゲームオーバーになって
13:49しまうみたいなことも予測するようにし
13:52てるです
13:55ねでえっとこの家庭がア分をでまここに
14:01書いてあるのこのカテゴリアル分布をどの
14:04ようにして
14:05あのあのなんだろうえっと勾配を通す
14:08かっていうことですねでえっと通常の
14:11ガウス分布だとえっとどこに書いてあるか
14:14な通常のガウス分布だ
14:18とそうですねこの
14:22パラタンメメえっとトリックえっとだから
14:27えっと
14:30メーショントリックっていうものを使って
14:33まえっと勾配をだからサンプルすると勾配
14:36が通らなくなってしまうんですけどえっと
14:38うまい具合に勾配を通す法としてルラ
14:44メタクっていうものがあったんですねでで
14:46もこれカテゴリアル分布だからそれは使い
14:49にくいとでその代わりにえっとどういう
14:52手法を使ってるかていうとまずえっとま
14:55サンプルするえっとまだからカテゴリ分布
14:59からサンプルしてワフトベクトする
15:02とでえっとま元にした露日をまソフト
15:07マックスつまりま確率分布にしてあげると
15:09かま確率だ合計が1の確率分布にして
15:13あげるでこれをサンプルプラスプロプ
15:17マイナスプロプとするんですねで片方
15:20マイナスする方にストップグラディアン
15:21ツっていう関数をつけてあげることによっ
15:23てこれどうなるかって言と準テパの時は
15:26えっとだからここプロスががえプラス
15:29マイナスされてまただのサンプルが
15:30サンプルとして通るとでもえっとバック
15:34プロパゲーションの時はえっとこの
15:37サンプルまで到達した勾配がまプラスなの
15:40でえっとサンプルとプロップスの両方に
15:42勾配が取るとでサンプルの方に関しては
15:44サンプルしてるのでそれ以上勾配は通ら
15:47ないんです
15:48けどえっとプロップスの方に関しては勾配
15:52が通ってくとってソフトマークス関数を
15:54通って露日の方に勾配が通るようになるて
15:58いうそういういうまま勾配の通し方を使っ
16:01ていますでまこれがえっとロス
16:04ファンクションですね
16:08えっとえっとこれはまだからイメージログ
16:12ロスだ
16:13からえっとHTとZTが与えられた時に
16:18えっとその再構成
16:22する最高性誤差ですねまいわゆるその最高
16:25性いかにうまく再構成できたかっていうま
16:29えっとロスとリワードログロスまあとは
16:33ディスカウントログロスだから報酬の予測
16:36誤差とえっとえっとま割引き率の予測誤差
16:41それとケルケールダイバージェンスですね
16:44これ何のケルダイバージェンスかって言と
16:47えっと内部状態とえっと外からの画像の2
16:51つを使っ
16:52て予測された確率分布と内部状態だけを
16:56使って予測された確率分布のケールダ
16:59ケールダイバージェンスを最小化すること
17:01によってだからま内部状態のみによって
17:05えっと状態を予測えっと状態そうですね
17:09確率分布を予測できるようになるとでま
17:12これにベータっていうハイパー
17:13パラメーターがつき
17:16ますそうですねでこれがえっとここに書い
17:19てあるんです
17:20けどえっとこれがまえっとエルボだから
17:23えっと変分なんて言うんでしたっけ
17:27えっと
17:28変分
17:31さちょっと忘れた
17:38なえっと
17:55何あ分ですね変分解えっとだからvaeに
18:02使われる変分解の考え方とかまあとこの
18:07変分自由エネルギーっていうまこれは
18:09ちょっとまた別の分野だと思うんですけど
18:12と同じ式だと捉えることができるだから
18:14えっとワールドモデルだからこの
18:17ドリーマーのこのロスファンクションは
18:20えっとシークエンシャルだからま
18:22シークエンシャルVAvaeだと解釈が
18:25できるってことですねでえっと
18:29まここで何が言いたいのかという
18:37と
18:43えっとあそうですねでえっとまここで主に
18:47説明されてるのはこのケル
18:49ダイバージェンスの部分がどういう意味を
18:50持ってくるのかっていうのとあとどういう
18:52工夫がされてるのかっていうことなんです
18:54けどまず
18:57えっと
18:58このえっとこのZハッとZを近づけること
19:03によってえっとまえっとこのZZの方をま
19:07ポステリアえっとZハッの方をえっと
19:10プライヤーって言うんです
19:13けどえっとまずプライヤーはポステリアだ
19:17からXが与えられた時と変わらないように
19:21内部状態を予測できるようになると同時に
19:27えっと
19:29えっとこのZハットがついてない方のZが
19:32どれくらいXから情報を受け取るのかって
19:35いうのを調節する役も持ってるんですね
19:37このケルダイバージェンスはでその調節
19:41する時にえっとだから外部から情報を
19:48全く外部から情報を全く受け取らないよう
19:52にえっとだ
19:55からえっとこの外部の情報を受け取らない
20:00ようにしてえっと情報の乏しい内部状態だ
20:06からえっとそうですね情報の乏しいこのZ
20:11ハットの方のみを使ってえっと予測しよう
20:15とするっていうことが起こりかねないです
20:17ねこのケルダイバージェンスをロス
20:19ファンクションに組み込むことによってで
20:21それを防ぐためにこのアルフっていう
20:24えっとアルフていうえっとパパラメーター
20:28を導入してえっとケルダイバージェンスを
20:33まずえっとこのポステリアとプライヤーの
20:37ケル
20:38ダイバージェンスのえっとこのストップ
20:57グラディアンレッドドラゴンあるんだ
20:58えっとプライヤーの方をできるだけ学習し
21:01てえっとこのZHATの方できるだけ学習
21:04してえっとこのZに及ぼす影響ZハッとZ
21:08のケルダイバージェンスによってZが学習
21:11できないとかZの情報が乏しくなることを
21:13防いているっていうのがまこのことです
21:17ねでえっとま実際にでこの後例えばでこの
21:23ビヘイビアだからまここまで行ったことで
21:25えっと内部モデルをが学習することができ
21:28たわけですねでその内部モデルを使って何
21:30をするかって言うとえっとアクター
21:32クリティックですねアクタークリ
21:34クリティックだからま来のモデルフリー強
21:37学習のま工作勾配法ですねでまその内部
21:41状態にをだけを使って学習していくとで
21:44内部状態だけを使って学習することによっ
21:47てまずえっとそうですね
21:52ま大丈夫ですかあ切れてないえっとマコフ
21:56程がまず成り立つとまなんでかって言うと
21:59えっとだからその前のその次の状態の
22:03セットはその前のHからしかまえっとなん
22:07だろう影響されないによって決まるわけだ
22:09からま当然マルコフ過程がまず勝定できる
22:12とだからえっとまそれまでの当たりみたい
22:14にえっといくつかのフレームを人1つの
22:18状態としてえっとなんだろうホムDPを
22:21仮定しなくて良くなったんですねでそれと
22:23同時にえっとクリティックえっと
22:26クリティックの方でえっとそうですねTD
22:31ターゲットをえNステップ先まで伸ばす
22:34ことができるでそのま初歩としてこの
22:36ラムダターゲットってのがあるんですけど
22:39だからそれまでは次の状態の報酬と割引き
22:45率かける次のえっとそうですね次の状態の
22:52えっとクリティック
22:54っっていうまそういうだからCステップ先
22:59までしかTDターゲットが伸ばせなかった
23:01のがまだからえっと内部状態だからえっと
23:05この状態から例えば好きなステップ先まで
23:08えっと自分の中でシュミュレーション
23:10できるんですねでシミュレーションする際
23:13にそれまでだと例えば画像が出てきて環境
23:18にアプローチしてるわけですから環境が
23:20それに反応して画像を先生してその画像を
23:22受けてるっていう長い作業だったのがま
23:25ただのさまいくつかのベクトル列の計算
23:28だけで済むようになったのでますごい長い
23:31ステップ先まで自分の中で
23:32シミュレーションできるとでまそれが
23:34ドリームだから夢を見てるよっていうこと
23:37でまドリーマーなんですけどだからまN
23:40ステップ先までTDターゲットを拡張
23:42できるでそれがまクリティックのロス
23:44ファンクションでアクターのロス
23:46ファンクションはすいませんえっと僕も
23:48よく分かってないんです
23:50けどなんか
23:52色々色々なものを組み合わせてるですごめ
23:57ここはちょっと僕ももよくわかんないので
23:59そうです
24:00ねはいまそうですでこれがまドリーマV2
24:04の大体のえっと概要ですあまこれで発表
24:09終わりですすいませんあの本当はちょっと
24:12実際の動いてる状態を動いてる様子を見せ
24:15たかったんですけどあのちょっと環境構築
24:17でちょっと手間取っちゃっ
24:19てはいありがとうございましたあ発表は
24:22ありがとうございました質問とかあるから
24:24いらっしゃったらあのチャットでも拒否で
24:26もいいのでお願いします
24:37あじゃすいません1点だけいいですかあ
24:41はいあのそのえっとどこだっ
24:45けえっとカテゴリから分布を使っ
24:51てその画像をえっと潜在変に変換する
24:58ところ入れてるんでしたっけ
25:01リえそうですねカテゴリアル分布のま確率
25:05的なえっと状態とまあとはえっとrnnが
25:10ま内部状態として持ってるものをま結合さ
25:12せてあの決定論的なものとま確率論的な
25:16ものをの2つを組み合わせた状態からま
25:19画像を生成するみたいなうんなんかその
25:23どっかで聞いたことあるんですけどあの
25:25ドリーマv2ってはいVQvaeに変えた
25:30みたいな話をどっかで聞いたことあるん
25:32ですけどでも結局その自分も1回ドリーマ
25:34V2のロブ読んだことあってでも結局
25:39そのあのカテゴリカル分布えっとですね
25:44なんだっけな難しいすよね
25:51えっとあそうだえっと結局そのロスの
25:54ところで
25:56あのパラメータートリックの代わりに
25:59なんか変わったトリック使ってたじゃない
26:00ですかはい結局これっていうのはこの場所
26:04で
26:07その確率分布にも勾配を通してい
26:11るっていう認識であってるんですかねこの
26:15確そうですねだからえっと確率分あだから
26:20えっとまずRNAの内部状態とえっとこの
26:23エンコーダーからこの確率分布を生成し
26:26てるんだけどだからそのコーダーとえっと
26:29ま内部状態から生成するところていうのは
26:31ま学習が必要だからでもサンプルだと
26:35サンプルしただけだと勾配がそこで止まっ
26:37ちゃうからそうですさえっとパラメーター
26:40をあまその何工夫をして
26:44るっていうじゃなんかここであのそこまで
26:47勾配通すように工夫していてなんかその
26:52ロスすいませんロスカ数のところであな
26:57vkvとかって結局そのなん
27:01だろう理3分布のところ飛ばして勾配通し
27:04て最後にソス関数のところで学習する
27:07みたいなああえっとうんとどうなんだろう
27:11なえっとそれとはちょっと違うというか
27:16なんかいやでもVQvaeああそっか
27:22うんとパッと答えられないんですけど
27:26多分ああだから言いたいこととしてはもう
27:30ここ飛ばしちゃってあだからエンコーダー
27:33に直接通せっていうことですよねそうです
27:36そうですそう
27:37ですあどうなんだろうな
27:40えっとまそこが根本的に違う気がしていて
27:45VQvae
27:47とああすいませんうんとちょちょっとあの
27:52このこの後の発表が終わったちょっと今
27:55調べてますあすいませんごめんなさいあ
27:57全然
27:58あの
27:59なんかそうですねなんかちらっとVQVA
28:04使ったのがVドリマV2だよってこと聞い
28:07たことがあってでもああ僕もちょっと論文
28:09読んだ時にまなんかやり方として似てる
28:12なっていうあそうそうですよね3あ実際
28:16VQVAもなんかえっとえっとさっき話し
28:20たなんて言うんだろうあの何えっとだから
28:24エンコーダーのえっと
28:29なんだろうアルファを導入して
28:31そのああえっとあそうですねあ学習が
28:35うまくいくようにあのアルファ導入して
28:37えっと勾配が通る量をま変えるみたいな
28:40ことはVQVAでも実際にやってて
28:44うんでもえっとあで確かにvkvだと
28:48なんかレコーダーから出た勾配そのまま
28:51コーダーに繋げちゃってるんですよねで
28:54その中のそのテーブルえなんだえっと
28:58潜在変数あれって結局なんかテーブル用意
29:01してそれぞれルジ動計算し発させるみたい
29:03な感じであそこの勾配は結局損失関数で
29:07直接そこあのなんて言うんだろうその最高
29:10性誤差プラスそこの誤差みたいな感じで
29:12付け出しちゃって感じなんでそうなんか
29:15なんかでもこの今回のやつだとちょっと
29:18そのまま勾配通せるようなテクニック使っ
29:20てるから違うんじゃないかなっていうだっ
29:23たんですけど
29:24ああ聞いちゃいましたありがとうござい
29:28ますあそうですねちょっと違う感じです
29:31そうそうですあああれあれあありがとう
29:34ございますあありがとうございますなんか
29:37他質問あったらお願いし
29:42ますチャットとか大丈夫です
29:46かじゃなさそうだったらち自分の方をさと
29:50やっちゃい
29:56ます
30:02あんまり時間もないのであのちょっとやり
30:05たいなと思うんですけどま今回はその最近
30:07話題の動画生成A空についてあの発表させ
30:12ていただきます東京理題社会Pさんの論
30:15ですえっとまず概要としては皆さんご存知
30:18だと思うんですけど最近オープンAから
30:20めちゃくちゃ話題になってるあの空って
30:23いうテキストから動画を生成するAIって
30:25のがま発表されましたとでまえどういう
30:28ことがあったかって言うとまえっとこの
30:31このAIが公開されたというよりはこの
30:34AIが生成した動画だったりとかまその空
30:38のなんて言うんでしょうレポートがま公開
30:40されたっていうよな状態になっていますで
30:43そのま空の概要としてはまさえっと近年
30:46混乱だとされていた動画生成タスクにおい
30:49てトランスフォーマーをベースとした
30:50アーキテクチャーでま多様な動画画像で
30:53大協学習さることでえ画像品質を保持した
30:57まプロンプトに中実な最長1分のビデを
30:59生成可能にしたってことになりますで
31:02えっとま現在の状態としてはそのえっと
31:05セキュリティ専門組織おそらくオープン
31:07エアの組織だと思うんですけどその組織と
31:09ま一部のクリエイターが利用可能になって
31:12いてまその今後のえっとモデルの発展だと
31:16かま安全なシステムの構築を進めるために
31:18ま今えっと動いてるってところです
31:21ちょっとリリースに関しての情報はなかっ
31:23たんですけどまそろそろ来るのかなって
31:26個人的には思ってますでま今回の流れとし
31:29ては最初に特徴を述べてどうやって学習し
31:32てるのかで今回そのテクニカルレポートを
31:34ベースにしてるんですけどあまり詳細な
31:36モデルのアーキテクチャーだとか学習方法
31:39が載ってないのでさらっと概要だけ話し
31:41ますであとその後動画生成方法まどういう
31:45風に使うのかとかえどういう風に利用可能
31:48なのかみたいなところ話してで次にその
31:50Mrエマージェントミネーション
31:52アビリティズっていうその
31:54トランスフォーマーのその大規模モデルと
31:55かでその大規模化させることによって能力
31:58が発言したのと同様にま今回その
32:00シミュレーションの能力っていうのがその
32:02代規化することによって発言したよって
32:04ところをででそれでその部数のその能力が
32:08発言したのでその発言した能力について
32:10話していってま最後そのオープンAの方針
32:13安全性に対する方針で最後感想みたいな
32:16感じで話していこうかなと思い
32:19ますで最初に見ていただきたいんですけど
32:23まこれがそのソのモデルと他のモデルを
32:26比較したのになってますで注目して欲しい
32:29こととしてはまずその動画の長さですね
32:32えっとだんだん消えてくと思うんですけど
32:34これっていうのはそのそれぞれのAIが
32:36最大限生成できる最大限じゃないですけど
32:39生成できる動画の長さでま明らかに他の
32:42モデルよりも空の方が長い動画は生成でき
32:45てるってところがありますでさっきも言っ
32:47た通り1分最長1分の動画を生成できるの
32:50でもっと長い動画が生成できるっていうの
32:52とあともう1つはあの人のなんて言うん
32:55でしょう再現度合見て欲しいんですけど
32:58一番分かりやすいなステーブルビデオの
33:00この真ん中に写ってる
33:04えっとこの人ですねこの人の足元見て
33:08欲しいんですけどちょっとそのくるって
33:10回転してたりするんですよねでだだけど空
33:13の場合は割とその人間の目にに見て全然
33:17不戦さがないような現ないようにその
33:20えっと再現できているっていうのがま見て
33:23分かるのかなっていう風に思いますで
33:26えっと
33:28それをまとめるとま他の動画生成用
33:33もえっと長時間の動画が生成可能であ
33:37しかも高品質な動画が生成可能になってい
33:39てまさらにその複数のキャラクターだとか
33:42ま特定の種類の動きだったりま背景の正確
33:44なディテールをもつ複雑なシーンを生成
33:47可能になってますまたそのえっと今回
33:50テキストだけじゃなくて画像動画からを
33:52プロンプトに入れることもプロンプトに
33:54入れてま条件つつけることができてまその
33:57条件に中実に動画を再現することも確認さ
33:59れていますでえっと他のえ特徴としては
34:02モデルはトランスフォーマーベースにして
34:04いてま様々な改造とアスペクト比つまり
34:07画像の横と立て長さだとかあとその画像の
34:11あ時間のスケール動画の何分とかの長さと
34:15かまいろんな画像で学習しているって
34:18ところですま個人的にその計算リソースと
34:21かそのもうちょっと学習データスとが気に
34:24なってたんですけどその辺りの記載はあり
34:26ませんでしたでえっとま最初にその学習
34:30方法のま概要について話すんですけど本当
34:33にざっくりした概要で
34:36そのビデオからその自空間的に圧縮しての
34:39トランスフォーマーで扱えるようにそのま
34:41パッチまその単語みたいな形に変換をして
34:44あげてその単語を単語みたいな形を用いて
34:47ディフュージョントランスフォーマーって
34:49言われる結構そのあのど画像生成とかで
34:51よく使われてるモデルなんですけどまそれ
34:53を学習してあげていますでさらにその
34:57ディフュージョントランスフォーマーで
34:58出力したのっていうのはあるその圧縮され
35:00てるものなのでまそれをまデコードつまり
35:03その動画に戻すえモデルもま学習してい
35:07るっていうような流れになってますでま
35:10そのちょっと明く詳細見ていきたいんです
35:13けどそのどうやって圧縮してるのかって言
35:16と段階あって最初にその動画をま公事件
35:20から定時件に圧縮するビデオ
35:22コンプレッションネットワークっていうま
35:24ま多分オ講座ですね応講でま圧縮をしてま
35:28えっと2ステップ目にえスペースタイム
35:31ラテンパツていうモジュールでその圧縮し
35:35た動画をトランスフォーマーが扱えるま
35:38単語みたいな形にえ変換してま空間パッチ
35:43のCケスを注してるというような形になっ
35:45てますでえっとさっき言ったその
35:47ディフュージョントランスフォーマーの
35:49学習方法なんですけどこれはその元の綺麗
35:52な動画に対してノイズを加えてあげてあえ
35:55さらにそのテキストですねテキストを条件
35:58につけてあげて
36:00えっと元の綺麗な
36:03え動画を予測するように学習することで
36:06うまくあの生成モデルってのが学習できる
36:09よでそまそれを使っても今回もやってると
36:12いうようなところになります詳細なえ方法
36:15についてはえっとよくわかんなかったんで
36:18楽しますで
36:20えっと1つ学習方法のとこに述べられた
36:23述べられてたこととしてはその計算量を
36:26増やすことによってそのサンプルの品質
36:29っていうのがま向上してったよっていうの
36:31がまめられてましたで下の図見てその動画
36:35見ていただきたいんですけど左がそのま
36:36基準となるまベースコンピュートって書い
36:39てあるんでどのぐらいの計算量か分から
36:41ないんですけどある基準の計算量からり3
36:44倍に増やしたのが真ん中の動画になってい
36:47てま割と
36:49い犬っぽくなってるって感じはしてるって
36:52いてそれを32倍に増やすとなんか
36:54めちゃくちゃこうガ高改造度の像が生成し
36:58てるのが分かると思いますまこんな形で
37:00そのスケーリング計算量を増やすことに
37:02よってえっと大規模言語モデルと同様に
37:05えっとサンプルの進数が上がるよってこと
37:08を示されてましたでえっとさらにそのどう
37:12いうデータを使ってるのかってところで
37:14えっと従来その動画
37:17生成AIを作る際に使われてたデータって
37:20いうのはあの一般的にその解像度だとか
37:24その秒数とかを統一して学習させたんです
37:27ねなんでここに書いてあるとり256
37:30256のえ4秒の動画にリサイズ
37:32クロッピングしてえっとそれをデータに
37:35使ってたんですけど今回はそういうことを
37:37一切せずに元の動画のサイズで学習を行っ
37:41てますでそれを行ったメリットとして2つ
37:45ああ上げられていて1つ目はサンプル
37:47サンプリングの柔軟性つまりその動画を
37:50生成する際の自由度が上がるってところで
37:53つまりそのめちゃくちゃ公開外の画像も
37:55生成できるしめちゃくちゃが低解像度
37:57めっちゃあ荒い動画も生成できるように
38:00なるので割とその応用が引くっていうかも
38:03ちょっと今回簡単に動画生成したいなと
38:05思ったら割と正解度で出せばいいしみたい
38:07なそういうその応用が引くっていうのが
38:10メリットとして上げられていてま2つ目は
38:12えっとフレーミングと構図の改善っていう
38:14風に言われていてまこれは従来起こってた
38:16問題点としてま正方権トリミングすると
38:19記者体が一部しか映ってない動画が生成さ
38:21れがちだったんですけどまそれが今回リ
38:24リサイとかしてないのでリサイはしてない
38:27のでまそういうことは起こらなかったよっ
38:28ていうのは2つのメリットがああげられて
38:31ましたでえっとまそれがえっと学習につい
38:35ての話になってますで次からはそのどう
38:38やってえっと動画を生成しているのかって
38:41ところを見ていきたいなと思うんですけど
38:43最初にその
38:45テキストのみを用いて生成しているものを
38:48見ていきますでテキストから動画を生成
38:52する際っていうのはま一旦その人間が
38:54何かしらの示は指示を与えるんですけど
38:56けどその指示を一旦GPTを活用してより
38:59詳細な文章まキャプションに変換してそれ
39:02をビデオモデルに送信しているそうですで
39:05ま1例見ていただきたいんですけど見て
39:07いこうと思うんですけどえっとまここに
39:10プロンプトとしてなんスタイリッシュ
39:12ウーマンがえ東京の道を歩いてますとで
39:15さらにそのま状況のあの指示ですよね
39:20さらにその下にえっと彼女が彼女のなんて
39:24着てるものとの指示がブラックレザー
39:26ジャケットとかロングレッドドレスだとか
39:29えブラックブーツとかっていうような
39:32えっとてるものの指示が与えられててあと
39:35動作の指示もこれしてるんですねシウ
39:37confidentアカジュリーと自信を
39:39持ったりと自信持ってカジュアルに歩いて
39:41みたいなあとその背景の指示としてえっと
39:46湿ってる道でえっと色々な色カラフルな色
39:52によってその地面が未来みたいになってる
39:55よみたいな感じあとその
39:56え歩行者がやぱ歩いてるよみたいな指示を
39:59与えてあげるとま右の動画みたいな形でま
40:04あのかなりそのプロンプトにえ忠実に従っ
40:08て動画生成してるなっていうのを見て
40:11感じるのかなっていう風に思いますまその
40:14反射だとか例えばあサングラス映ると思う
40:16んですけどサングラスに反射してる情景だ
40:18とかっていうのもある種あのかなり充実に
40:23再現してるなっていう感想をを自分は抱き
40:27ましたちょっと長いちょっと待ちます
40:34ねいかじゃあ次行きますね中ででえっと
40:39先ほどテキストだけをプロンプトに入れて
40:41たんですけどそうじゃなくて動画とか画像
40:44をプロントにすることも可能で
40:47えっとまそうすることによってま用途が
40:50広がるっていう風に書いてありましたで
40:52具体的に4つ書いてあったんですけど
40:54ちょっと今回時間ないので1つだけ紹介し
40:57ますであの詳細に関してはあのえっと
41:00テクニカルレポートの方にあのサンプルの
41:03映像とかも含めて紹介されてますので
41:05そちらござご覧いただければなと思います
41:08で基本的に4つありましてあの生成した
41:11ビデオの延長とかそのつまり1回生成した
41:14ビデオを長くしたかしたい時にそのこの
41:16続きを続続してみたいな風にすると生成
41:19することもできますしさらにそのビデオと
41:22まテキストを入力することでそのビデオを
41:24自分好みに編集することできたりだとか2
41:27つのビデオを入力してまそれをシームレス
41:30にあのなんて言うんでしょう結合構成する
41:33みたいなこともできたりま単純な画像生成
41:36とかも可能になってますで今回一例だけ
41:38紹介するこれがそのビデオからビデオをを
41:42編集するテキストを使って編集するものな
41:45んですけど1番左がえっと元々の映像に
41:48なってますこの映像に対してテキストを
41:51このこのの動画を入れてあげるとあっと
41:55右指のようなえっとこれはなんかその
41:571920年代にまセッティングしてとで
42:01さらにその赤い車っていうのは赤い色かな
42:04赤色ってのを保持したままにしてっていう
42:06指示えるとまあの1920年代ぐらいの車
42:11なんですかねちょっとわかんないですけど
42:13ちょっと古めの車でまその背景に映ってる
42:17人々もちょっと古い古い人の格好というか
42:21ま現代とはちょっと違うようなえっと映像
42:24がま生成されていますでさらにその下の方
42:27ではそのピクセルアートスタイルに変え
42:28てっていう風にすると本当にそのなんか
42:30Minecraftに出てくるような
42:32えっと情景になってま生成しているという
42:35感じになっていてまその動画を使動画とま
42:39テキストを使ってま動画を生成できるよう
42:41にはなっているのでよりその動画編集の
42:44えっと可能性を広げるんじゃないかなって
42:47いう風に思いましたでま先ほどえ次の話に
42:51なってくるんですけどま先ほどもちょろっ
42:53と話したんですがその大希望化にて
42:57その多くの教育的なシミュレーション能力
43:00が発言したっていう風に書いてあるんです
43:02けどまそのなんて言うんでしょうあの大
43:07規模言語モデルとかも
43:09そのあの少ない少ないというかあある
43:14ところの計算量とかデータ数ではその全然
43:18解けなかったタスクがあのあるところ境い
43:22にめちゃくちゃ解けるようになったみたい
43:23なその能力が発言したってことがよく言わ
43:26れているんですけどそういうことがまその
43:29今回のえ動画生成にも起こっていてまそれ
43:32がま今回4つに使ったっていうところで
43:35今回ちょっと紹介しようかなと思います1
43:37つ目がえっと3D3次元の整合性が取れて
43:41いるとかあとビデオの一貫性あと世界との
43:44相互作用あとデジタル世界でのシュミレ
43:46ションっていうのがまそのできているん
43:48じゃないかなという風に言われてますで1
43:51つ目の3次元の整合性なんですけどま下の
43:53図下の動画かねていただきたいんですけど
43:57これっていうのがその視点が変わっていく
43:59映像になっていきますでかなりその
44:02もちろんその視点が変わるとあの映る物体
44:06っていうのは必ず大きさ変化させない変化
44:08させないといけないんですけどまそれっ
44:10ていのが人間の目に不自然さがないなく
44:13あのうまくそのなんて言うんでしょう視点
44:15を動かしてるってところがやぱそのモデル
44:18がこのこっから見た時の3次元えっと空間
44:23ってのはこういう風に見えててこっから見
44:24た時にこう見えてるってのが分かっ理解
44:26できているなんかそのナーフみたいな形の
44:28えっと能力もま持っているのかなっていう
44:32風にま3次元空間をまうまく理解してい
44:35るっていう理解できる能力がま発言したと
44:38いう風に捉えられるっていう風に書かれて
44:41ましたで次にそのビデオの一貫性って
44:44ところなんですけどまこの動画見て
44:47いただきたいんですけどこの真ん中に映る
44:49犬が一旦人によって隠れるんですよねで人
44:51によって隠れた後に
44:54えっと動かな人によって一体隠れるんです
44:58けど隠れた後もまた同じ場所に犬がい
45:02るっていうそのフレームから外れたと外れ
45:05てもまそのまに位置するそその存在を維持
45:07することができているっていうところがま
45:10すごい能力だよねっていう風に述べられて
45:12ましたでここには書いてあるその長期と
45:14短期っていうのはさっき言ったその長期的
45:18の関係っていうのはここ
45:21に犬が存在するっていう犬がま長期的にい
45:26るっていうのとま人間が短期的に流れて
45:28るって2つの別々の関係っていうのを
45:31うまく1つの動画でま再現できてい
45:33るってところがますごいところねすごい
45:36能力であるっていう風に思われていますで
45:39えっと今度はそのさっきは別々のなんて
45:43言うんでしょう動きだったんですけどま
45:45それがその総合作用するよってところで
45:48えっと今ハンバーガー食べてるんですけど
45:52もちろん人がハンバーガー食べると
45:54あの神跡が残るはずなんですよねでそれが
45:58ちゃんと再現できていてつまり人が
46:00ハンバーガー食べるとハンバーガーが減
46:02るっていうようなその物体との相互作用
46:05っていうのもま理解してるよっていう風に
46:07え言えると思いますでただこれ面白い時時
46:11きって書いてあるんですよねなんでその
46:14あのこのこの後にもその限界のとこで話す
46:16んですけどあの総合作用がうまく
46:18モデリングつまりそのモデリンググってか
46:20うまく再現できてない場合もあるっていう
46:22ところがまだあってまそれが1つ課題に
46:24なってるところではあります
46:26で最後のエマージェントシミュレーション
46:28カアビリティなんですけどまデジタル
46:31デジタル世界のシミュレーションがまでき
46:33るっていうところでまこれあのプロトに
46:35mineクラフって言っただけでまこの
46:37ような画像を生成してま実際にその
46:39Minecraftを操作してるような
46:41映像が生成されているってところになり
46:46ますまなんでま色々と世界モデルとかにも
46:49応用できるのかなとちょっと思たりようが
46:51しますでさっき言ったその
46:53シミュレーションの限界のに映るんです
46:56けどえっと先ほどのハンバーグはあの相互
46:59作用をちゃんとえっと再現できてたんです
47:02けど左のえガラスが割れる瞬間っていうの
47:06はその破片とかが飛び散ってないんですよ
47:09ねでしかも不自然な割り方をして
47:11るっていうのであのまうまくその物理現象
47:14をま正確に正確に再現できてないっていう
47:17風に言えててえっとまだその物理現象って
47:21いうのはまだ正確に把握できてないよねっ
47:22ていう風に述べられてましたあともう1つ
47:25の問題としてはこあの狼か犬か分からない
47:27んですけど突発増えるんですよね4匹5匹
47:31とか増えたりするんでまこういった
47:32オブジェクトの突発的な出現とかもま確認
47:35されていてままだまだ改善する置がある
47:38よってみたいな話がありましたでえっと
47:42今後に関してないう風に最後にテクニカル
47:45レポ最後の部に書いてあったんですけど
47:48あのこですねあ赤い部分見ていただきたい
47:52んですけどあのシミュレーションの能力を
47:56ま発展させるためにはそのビデオのモデル
47:59をあの継続的にスケールすることがま有望
48:03な道だろうみたいな風に分な道であ
48:05るっていうのをま空が示したと信じてる
48:07みたいなに書いてあるんですけどなんでま
48:10今後もオープンAIはまスケール上げて
48:13いくのもっともっとモデル大きくしていく
48:15のかなっていう感じはちょっとしました
48:19なん
48:20でもっともっとスケール上げていけば
48:23もっとそのさっき言ったまこれらの問題の
48:26解決していくかもしれないなとはちょっと
48:28思っていますでえっと最後にその安全性に
48:32ついてのオープンAの方針なんですけど
48:36えっとま5つあってその動画が空から生成
48:40された中を判別する分類器をま開発して
48:43いったりだとかあとその生成した動画に
48:47対してメタデータを埋め込んでこれがこれ
48:50がそのAIによって作られたってことを
48:52明示してた明示したりだとかあとはえ
48:55えっと既存のそのオーAのえ画像先生
49:00のdatさんの安全策も利用したりあとは
49:04そのプロンプトに用いるテキストにそ不
49:07適切なものが入ってないかっていうの分類
49:09する分類機を開発したりあとそのえっと
49:13生成された動画がそのOpenAIの
49:15ポリシーに順じてるかっていうを確認する
49:18分類器を生成したりしてるというとでした
49:20でえっと実際の使用例から学んでいって
49:23どんどんどんどんえっとでいくってことな
49:26のでま時間かけて完全なAIシステムを
49:28作りリリースするてみたいなことがってい
49:33たって感じですでえっとこれでま通り
49:37テクニカルレポートとあのオープンの
49:39サイトに書いてあることを説明したんです
49:41けど個人的な感想としてはぱそのテキスト
49:45動画画像の様々なプロンプトで
49:48えっと色々
49:50そのま様々プロントは利用可能なのでま
49:54かなりその映像政策の幅を広げるのでない
49:57かなっていう風に感じてますま個人的に
50:00ちょっと面白いてすごいなっと思ってたの
50:02は
50:04その自然現象の再現ってなところはかなり
50:07すごいなと思っててまこの蒸気の再現だっ
50:10たりだとかこのな波の再現と波の表現って
50:13のがま本当に緻密にされていてもしかし
50:18たらそのプを再現
50:21する物理の再現みたいなところまで利用
50:26できるのかなちょっと個人的にはちょっと
50:28期待してたりちょっとやめて欲しいなって
50:30思ってたり部分はあるんですけどそのこと
50:33あとそのま先ほどの
50:36そのデジタル空間のシミュレーションとか
50:39でも話した通りあその世界モデルのアイス
50:42の環境としてま空が使えるかもしれないな
50:46とはちょっと思ってたりしてますですね
50:50ちょでまま今回はこのオープンえこのラの
50:55サイトとテクニカルレポートから書いて
50:58あることを紹介したんですけどこれこの
50:59サイト結構面白いのであのもし時間があっ
51:03たらあのちらっと見ていあそ結構
51:06インタラクティブにえっと操作できるあの
51:10子供もであインタラクできるのでなんか見
51:13てて面白いんじゃないかなと思うのでもし
51:15時間があったら見ていただけるといいのか
51:17なって思いますえっと一通りSし終わり
51:21ましたなんでなんか質問とかコメントとか
51:24あったらえっとちょっとああんでもいいの
51:28でお願いし
51:42ますああの1ついいですかはいお願いし
51:46ますああのあの発表すごく面白かったん
51:50ですけどあのトランあの多分
51:53トランスフォーマーなんでしょうねあの
51:54動画先生っていうのではいであのま僕は
52:01あの実際最近世界モデルでなんか
52:03トランスフォーマーを利用したものがあ
52:06るっていうのは聞いたことあるんですけど
52:08あのトランスフォーマーを利用する際に
52:11例えばドリーマーとかだとあのなんだろう
52:13vaeのえっとつまりなんだろうえっと
52:16潜在表潜在空間がまなんだろう変異してい
52:20くっていうでトランスフォーマーにとって
52:22のなんだろう潜在空間っていうのはどの
52:24部分なんですけどなあまり
52:25トランスフォーマーに詳しくなくて
52:27トランスフォーマーあ結構その世界モデル
52:31とで使われてるトランスフォーマー
52:33ディシジョントランスフォーマーとか
52:34トラジェクトリートランスフォーマーとか
52:36言われると思うんですけどあれは局その
52:40なんて言うんだちょっと1回スライド変え
52:43ます
52:50ね
52:51[音楽]
52:54えっと
52:56多分この今回やってる空とはちょっと違う
52:59んです
53:07けどこれ前発表したマルチゲーム
53:10ディシジョントランスフォーマーってやつ
53:18でこんな感じなんですよね結局そのま
53:22めちゃくちゃ長い多分かなり
53:26バートとかでも大体512ぐらいでしたっ
53:29けトクてそんな感じでそのそれぞれのトク
53:33に対してえっとそれに対応するルレイ
53:38ヤーっていうのが存在するんですよあの
53:42このこで
53:44あの基本
53:46その
53:47えっと許可学習とかでえっと使う場合には
53:52コザルトランスフォーマーとかて言って前
53:55の情報が見えないような状態でこうですね
53:59こんな形でえっとモデルをを使ってい
54:04てあそのなんて言うんでしょうえっとです
54:10ね内部状態
54:17があれです
54:21そのまもちろん
54:24その
54:25lstmみたいな使い回しみたいなことは
54:28トランスフォーマーしないのでま固定され
54:31た
54:32シークエンスの中でまるそのおそらく強化
54:37科だったらエピソードのなんて言うん
54:39でしょう何回あるかみたいな決まってると
54:41思うんですけどまそれ
54:43をなんて言うん
54:46だろこれあのマルチョン
54:49トランスフォーマーはえっとま状態のこれ
54:54えっと
54:56えと画像をパッチに分けて状態を入れて
55:00あげる
55:01とえその報酬を出力するようなものになっ
55:06てその報酬をもう1回入れてあげるとえ
55:11行動が力されるみたいな感じになってい
55:13てなんて言うんだろう
55:19な
55:20[音楽]
55:24うん
55:25なんか
55:27その
55:29あのドリーマーみたいなものっていうのは
55:32シュミュレーションできるじゃないですか
55:34あれてだけどトランスフォーマーは
55:37おそらくシュミュレーションするという
55:39よりかは次の最適なえっと行動を予測する
55:46みたいな感じになるんですよねなんだろう
55:49怪的というかあつまり中が完全にブラック
55:54ボックスみたいなそういうイメージですか
55:56あそうそうですそれそれでで今回この
56:00マルチゲームピショントランスフォー
56:02マーっていうのは酬まで予測してるんです
56:05よでなんでそのこの場合はその最適な作際
56:11的なこのアクションまいその方策に従って
56:14出すんじゃなくてそのその時出力された
56:18報酬に沿ってその射にあったアクションを
56:22出すみたいな感じで工夫をしてたりとかを
56:24してでうんなんでそのまそうですねだから
56:29その内部状態どういう風に表してるの
56:32かって言われるとブラックボックスちゃ
56:34ブラック
56:37ボックスな気がしてきましたそうですね
56:41ブラックボックスがねあれですね
56:43確かああありがとうござい
56:51ますそうです
56:53ね
57:01難しいなんか他に質問かあっ
57:05たらし
57:13ますなさそうなのであればもう8時になっ
57:16たので今日は終わりにしようかなって思い
57:22ますあじゃえ本日の会これで終わりに
57:27しようと思いますえっと今日は
57:30さんありがとうございましたあありがとう
57:33ございましたじゃあ退出していただいて
57:35大丈夫
57:40です
Browse More Related Video
5.0 / 5 (0 votes)
